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‚ Басель Дарвиш 


Коо{ Саи$е Апа[у$1$ 
МопкКогпа 


И как это нам всем поможет 


Басель Дарвиш 


Знакомимся 


® РааЪи Фааз - сервисы 
е Онлайн сервисы 


® (Состав сервиса из сервисов на ]лауа/5ритда Воо\, 
Ро${агеъо(, Ка иМО, НАргоху, и многое (очень) другое 


Одна команда поддержки на несколько сервисов. 


Что такое ВСА 


И зачем оно 


Что такое ВСА 


Без ВСА 


У ОШЩес паиивяегед {В ем 
Ф +! 
Еф М$5ОЕЗЕКУЕК оп утап-2008Е2-504 
Ф деу-Ьп-ткип-01 
Ф +! 
Ф в 
ТФ Мсгозой 1$ оп ад!-ммеБ-21 {и1.5о1агийип4$.пе{ 
Ф Ефеглеи МАМ (МеЯом/) оп гцегпе! Сацелмау 3725 
59 5рп шп © ОЯсе 365 
ОФ онтсе 365 тот АизИп 
А М/сгозой 1$ оп АОР-МУЕВ-03 
Я 4 мкгозой Оупатк$ САМ Опйпе 
© 108 ощ Яот ОЙКе 365 
© ГАВ-ОЕМ-НУУ оп 1аБ-дет-пуу.дето.аБ 
® $У0-НУ\-02 оп 10.199.5.109 
\щ Ба$-езх-021аблех 
88 ток-езх-02лаБлех 
5® мамраге го етан зесцоп 
- -905-Епегпе{-бВарег\(!а$5-де{аиК\Оо$-ММАМ-Е\негпе\У\еБ 
®]4 Тор шдехез 1ог ОзмаБазе (дпп) оп ГАВ-ОЕМ-$01-02 
- -00$-Епегпег-$Варег\а!а$5-де{аиК (Огорз) 
Фо гзь/ батзипя 


АП Асйуе А!ег($ 
8} АСКМОММ-ЕОСЕ [> МЕМ/ АБЕВТ ОЕТА\$ ‹?ЕОТ АЦЕВТ ОЕРИМТЮМ © СЬЕАА ТЕЮСЕВЕО ИМЗТАМСЕ ОЕ АЦЕВТ 
Г] Удек пате 
Г] А НЬ^ раске! 105$ 
Г] А Аеп темтеп ап аррИсацоп вое$ по ммагпя ог списа! $ате 
Г] А Нур гезропзе ите 
Г] А НЬргезропзе ите 
[Г] А НЫРгезропзе ите 
Г] А Аек те мтеп ап аррИсацоп зое$ дом 
Г] А НЕР Тгапзтк Регсепе ИШацоп 
Г] А Аек те мтеп а гапзасцоп хер рое$ и\о ммагтт ог спИса! $аце 
Г] А Аек те мпеп а иапзасцоп рое$ ито ммагпив ог сИса! ${а\е 
Г] А Аек те мтеп ап аррИсацоп 2ое$ домип 
ГР] А Аек темтеп а хапзасцоп $ер 2ое$ домип 
Г] А Аек те мтеп а хапзасцоп $ер рое$ домип 
ЕР] А Нох тетогу иШацоп 
2] А НохСРИ ирацоп 
2] А НохсСРИ иИвацоп 
Р] А Нох СРИ иШрацоп 
Г] А Аек те мтеп а хапзасцоп хер рое$ домп 
Г] А МА  С800$ Огор$ 
Г] А Аек те мпеп а сотропепи рое$ иго ммагпире ог сИса! $а(е 
Г] А МА СВОо$ Огор$ 
Г] А рРаре те утеп а Моде рое$ домит(2) 


 Мапаре Аеп$ @ ЗНоми п МОС годе 


Ещег $еагсН... 


У Асцуе Чте ^ 
16 14т 


18 19т 

11 49т 

21 11т 

21 16т 

148 14т 

161 58 т 

19 81 58 т 
19 81 58 т 
19121 56т 
19 131 44т 
13148 24т 
19151 25т 
19151 25т 
19151 25т 
19151 25т 
13 161 14т 
13161 42т 
19 211 23т 
13 211 42т 
19 221 37т 


а 
У Тиврег ите 


1/5/2017 3:51 РМ 
1/5/2017 3:46 РМ 
1/5/2017 3:16 РМ 
1/5/2017 2:54 РМ 
1/5/2017 2:49 РМ 
1/5/2017 2:51 АМ 


1/5/2017 12:07 АМ 


1/4/2017 8:07 АМ 
1/4/2017 8:07 АМ 
1/4/2017 4:09 АМ 
1/4/2017 3:21 АМ 
1/4/2017 2:41 АМ 
1/4/2017 1:39 АМ 
1/4/2017 1:39 АМ 
1/4/2017 1:39 АМ 


1/4/2017 1:39 АМ 


1/4/2017 12:51 АМ 


1/4/2017 12:23 АМ 


1/3/2017 7:42 РМ 
1/3/2017 7:23 РМ 
1/3/2017 6:28 РМ 


Что такое ВСА 
С ВСА 


Окружение 


. —-1000+ алертов при аварии и поломках 
. 2000000 объектов мониторинга на администратора 
. Команда администраторов 


е Очень много клиентов 


Кому нужен мониторинг 


е Администраторам 


Кому нужен мониторинг 


е Администраторам 
е Поддержке 


Кому нужен мониторинг 


е Администраторам 
е Поддержке 
е Пользователям 
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ОБзегиа Ку 


Уведомления 


Мониторинг 


Наглядный просмотр 
данных 


Отладка 
Наблюдаемость 
(ОБзегуаь!Ку) 


Профилирование 


Анализ зависимостей 


Предотвращение проблемы в будущем 


2. 
Что мониторим 


Инфраструктуру, сервисы, бизнес логику —все 


Объекты 


Инфраструктура 

Хосты, роутеры, диски 
(доступность на чтение/ 
запись, скорость, другие 
показатели), состояние 
оборудования, сетевая 
СВЯЗНОСТЬ. 


мониторинга 


Объекты мониторинга 


Инфраструктура 

Хосты, роутеры, диски 
(доступность на чтение/ 
запись, скорость, другие 
показатели), состояние 
оборудования, сетевая 
СВЯЗНОСТЬ. 


Сервисы и процессы 


Состояние процессов, их 
доступность, поток логов, 
работа СУБД, функций ОС, 
доступность по портам/ 
проч. 


Объекты мониторинга 


Инфраструктура 

Хосты, роутеры, диски 
(доступность на чтение/ 
запись, скорость, другие 
показатели), состояние 
оборудования, сетевая 
СВЯЗНОСТЬ. 


Сервисы и процессы 


Состояние процессов, их 
доступность, поток логов, 
работа СУБД, функций ОС, 
доступность по портам/ 
проч. 


Бизнес-функции 


Возможность размещения 
заказов, состояние 
очередей, критичных для 
выполнения бизнес- 
функции, связанность с 
конкретными внешними 
зависимостями и т.д. 
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Воо{ Саизе Апа[у$1$ Мопцотптад 


е Все объекты на графе зависимостей 


17 


Воо{ Саизе Апа[у$1$ Мопцотптад 


е Все объекты на графе зависимостей 


е Все слои проинтегрированы в мониторинге 
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Воо{ Саизе Апа[у$1$ Мопцотптад 


е Все объекты на графе зависимостей 
е Все слои проинтегрированы в мониторинге 
е На одном интерфейсе администрирования 


1 


администратор 


—2 000 000 


объектов мониторинга 


3. 
Соберем свои сервис 


Архитектура и немного деталей 
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Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


8 — 


Сервис 
регистрации 
объектов 


мониторинга 


Сервис КСА 


Источники телеметрии 


ПП 


Администратор 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Источники телеметрии 


е-—-— 2 ш 


Администратор 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинги 


» 


Сервис КСА 


Администратор Источники телеметрии 


е-—-— © ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


е--— © ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Источники телеметрии 


е-—-— 2 ш 


Администратор 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Источники телеметрии 


ПП 


Администратор 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор ики телеметрии 


8 — 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


рвис КСА 


Администратор Источники телеметрии 


е-—-— 29 ш 


Сервис регистрации источников 
телеметрии 


е Вабй-> /ауа, 5рип{ Воо{ 


е Идемпотентный Кез{и| АР] 


Источники телеметрии (ехрощег) создаются и удаляются — нам 
надо, чтобы сервис сбора РготеПец$ знал, откуда ее брать. 
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Пример запроса 


{ 


"пате": "$оте-5егузсе-ехроттет", 
ОЕ 

"ПЕфр$://192.168.12.23:9090" 
т 


"1пфегуа1": 60 
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Пример фаила конфигурации 
Рготетпеи$ 


#.. 

— 706 пате: зоте-$егузсе-ехрот{ет 
Попог_11те$фатр$: ттие 
5сгаре_1пфетуа1: 609$ 
тефг1с$_рафП: /тефг1с$ 
5спетме: ПТтр$ 
$фаф1с_соп{19$: 

— Тагдеф$: [192.168.12.23:9090] 
#.. 
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Сервис регистрации объектов 
мониторинга 


® ВабП -> ]ауа, 5рипЕ Воо* 
е Идемпотентный Кез{и| АР] 


® Регистрируем объект и то, от чего он зависит 
® Определиться, будет ли регистрация — т!5$1оп спса--функцией 


Этот сервис может оказаться нагруженным в большой и 
динамической инфраструктуре. 
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Пример запроса 


"ТагдетфТа": "Тагдет-по-1", 
"зеуегл{фу": "Лом", 
оо а Ко ВИА 
"ргтот_а]1е’т+_ехртг": "ир{арр11саф1оп_14=\"00000000-0000-0000-0000-0000000000009\"}", 
"ргот_а1ет+ф_ Чигаф1оп": "305" 
т. 
"Черепаепстез": [ 
"тазфег-—-Тагдет-1", 
'"тазтег-—тагдет-2" 
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Пример конфигурации фаила 
Рготетпеи$ 


— а1ет{: Тагдет-по-1 
ехртг: по4е_111езу$тет_тгеадоп1у{тоипЕротп{='/',По${_149='Ро${1.1ап'} == 1 
Тог: 5т 
]1абе]1$: 
ТагтдетфтТа: Тагде*-по-1 
— а1ет{: Тагдет-по-2 
ехрт: ир{арр11саф1топ_14=\"00000000-0000-0000-0000-000000000000\"} 
Гог: 30$ 
]1абе]1$: 
ТагдетТ4: Тагде*ф-по-2 
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Пример наполнения №04] 
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ВСА Феглсе 


е РуПоп -> )ауа, рип Воо{ 

е Сгарпо| АР! 

е По любому объекту достаем граф иругеат- и 
Ао\у/п${геат-зависимостей 


Сервис анализирует все возведенные уведомления по 
объектам и работает с сервисом уведомлений. 
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МонНсаНоп$ Зегмсе 


е Нотификации 

е Учитывает $еуег\у объектов 

е Уведомляет с учетом ФеуегКу всех связанных возведенных 
объектов 
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Пример нотификации 


[АЕИМС:1] Во$ {агге{ а!е$ 127.0.0.1:6969 гса 
|ом/ по${-п2-ПК 


Коо{Саизе: 


ны 


АНес{ео: 


(НЕИМС:3] ь. 1с- ООО ((агреЁ а|ем$ 127.0.0.1:6969 гса 


[0№М/) 
Коо{Саиве: 


{агреЁ_аем : гса - Б_1с-Варгоху- И 


АНес{ео: 


{агге{ а|емс : гса - 6_1с 
{агре{ а|ем$ : гса - 6 _1с 
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Рготетец$ 


е (Сбор телеметрии 
е Обработка алертов 
е Дополнительно — можно использовать сервис 


уведомлений 
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Сервис отображения 


5а-ГТогсе-дгарп 
Выделяем проблемные объекты 


Можно интегрировать с свои дэшборды, например, 
на базе Сгатапа 
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ауанаб Ку _ 


| ить Ноя 
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4. 
Встраиваем в процессы 


С особенностями 


4.4 


Сервис 
регистрации 
объектов 


мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


е-—-— 2 ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КС Гу 


Администратор Источники телеметрии 


е-—-— 29 ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


8 — 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


е-—-— 2 ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КС Гу 


Администратор Источники телеметрии 


е-—-— 29 ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


8 — 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КС/ 


Источники телеметрии 


ППП 


Администратор 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


е-—-— 29 ш 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


8 — 


Г 1 


Сервис 
регистрации 
объектов 
Мессенджеры мониторинга 


Сервис КСА 


Администратор Источники телеметрии 


— 


Интегрируем в процессы 
создания объектов 


Процесс должен быть очень простым. 


Например, функция на 5аЦ$%асК для п и для аб5ег\. Или 
хуки в К55. 
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Интегрируем в процессы 
обновления объектов 


Процесс должен быть очень простым. 


Например, функция на 5аЦ\аск для пЁ и для аб5ег\. 


Обновление = создание. 
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Интегрируем в процессы 
удаления объектов 


Нельзя недооценивать этот пункт. 


Удалять — сложно, особенно при авариях. 


Ложные срабатывания -— главный враг. 
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4.1. 
Приоритеты 


Используем КСА, чтобы не ‘дергаться” 


Примечание 
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Критичность относительна 


Критичность объекта Критичность в графе 


Объект вне графа может Но в графе от него могут 
быть некритичным, зависеть (в процессе 
например, недоступность — жизни) компоненты с 
какого-то хоста. более высокой 
критичностью. 
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Стало 


е Поддержке и админам видно все в одном месте 

е Оповещаем клиентов автоматически 

е® Идем дальше — интегрируем Ч|, в котором 
работают пользователи 
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Оценить доклад 


7. 
Спасибо! 


Пишите: 
е ааго@1с.гы 


